One of the key challenges in deploying RL to real-world applications is to adapt to variations of unknown environment contexts, such as changing terrains in robotic tasks and fluctuated bandwidth in congestion control. Existing works on adaptation to unknown environment contexts either assume the contexts are the same for the whole episode or assume the context variables are Markovian. However, in many real-world applications, the environment context usually stays stable for a stochastic period and then changes in an abrupt and unpredictable manner within an episode, resulting in a segment structure, which existing works fail to address. To leverage the segment structure of piecewise stable context in real-world applications, in this paper, we propose a \textit{\textbf{Se}gmented \textbf{C}ontext \textbf{B}elief \textbf{A}ugmented \textbf{D}eep~(SeCBAD)} RL method. Our method can jointly infer the belief distribution over latent context with the posterior over segment length and perform more accurate belief context inference with observed data within the current context segment. The inferred belief context can be leveraged to augment the state, leading to a policy that can adapt to abrupt variations in context. We demonstrate empirically that SeCBAD can infer context segment length accurately and outperform existing methods on a toy grid world environment and Mujuco tasks with piecewise-stable context.

Error correction in automatic speech recognition (ASR) aims to correct those incorrect words in sentences generated by ASR models. Since recent ASR models usually have low word error rate (WER), to avoid affecting originally correct tokens, error correction models should only modify incorrect words, and therefore detecting incorrect words is important for error correction. Previous works on error correction either implicitly detect error words through target-source attention or CTC (connectionist temporal classification) loss, or explicitly locate specific deletion/substitution/insertion errors. However, implicit error detection does not provide clear signal about which tokens are incorrect and explicit error detection suffers from low detection accuracy. In this paper, we propose SoftCorrect with a soft error detection mechanism to avoid the limitations of both explicit and implicit error detection. Specifically, we first detect whether a token is correct or not through a probability produced by a dedicatedly designed language model, and then design a constrained CTC loss that only duplicates the detected incorrect tokens to let the decoder focus on the correction of error tokens. Compared with implicit error detection with CTC loss, SoftCorrect provides explicit signal about which words are incorrect and thus does not need to duplicate every token but only incorrect tokens; compared with explicit error detection, SoftCorrect does not detect specific deletion/substitution/insertion errors but just leaves it to CTC loss. Experiments on AISHELL-1 and Aidatatang datasets show that SoftCorrect achieves 26.1% and 9.4% CER reduction respectively, outperforming previous works by a large margin, while still enjoying fast speed of parallel generation.

人通常通过按音乐形式组织元素来表达音乐思想来创作音乐。但是，对于基于神经网络的音乐生成，由于缺乏音乐形式的标签数据，很难这样做。在本文中，我们开发了Meloform，该系统是使用专家系统和神经网络以音乐形式生成旋律的系统。具体而言，1）我们设计了一个专家系统，可以通过开发从图案到短语的音乐元素到并根据预授予的音乐形式进行重复和变化的部分来生成旋律； 2）考虑到产生的旋律缺乏音乐丰富性，我们设计了一个基于变压器的改进模型，以改善旋律而不改变其音乐形式。 Meloform享有专家系统和通过神经模型的音乐丰富性学习的精确音乐形式控制的优势。主观和客观的实验评估都表明，MeloForm以97.79％的精度生成具有精确的音乐形式控制的旋律，并且在主观评估评分方面的表现优于基线系统0.75、0.50、0.50、0.86和0.89，其结构，主题，丰富性和整体质量和整体质量无需主观评估，而没有主观评估。任何标记的音乐形式数据。此外，Meloform可以支持各种形式，例如诗歌和合唱形式，隆多形式，变异形式，奏鸣曲形式，等等。

自适应力矩估计（ADAM）优化器由于其快速收敛属性而广泛用于深度学习任务。但是，亚当的融合仍然不太了解。特别是，对亚当的现有分析不能清楚地证明亚当比SGD的优势。我们将这种理论上的尴尬归因于$ l $ -smooth的条件（即，假设梯度在全球lipschitz连续且常数$ l $）中被文献所采用，而文献经常指出，在实用的神经网络中经常失败。为了解决这一尴尬，我们分析了亚当在轻松的条件下的融合，称为$（l_0，l_1）$平滑度条件，这使梯度Lipschitz常数可以随地梯度规范而变化。 $（l_0，l_1）$严格弱于$ l $ -Smooth条件，并且已经过经验证明可以保留实用的深神经网络。在$（L_0，L_1）$平滑度条件下，我们为Adam建立了与实用的超参数的收敛性。具体而言，我们认为亚当可以适应局部平滑度条件，证明亚当的\ emph {Adpativity}是合理的。相反，在这种情况下，SGD可以任意放慢。我们的结果可能会阐明自适应梯度方法比非自适应方法的好处。

歌词到融合的生成是歌曲创作的重要任务，并且由于其独特的特征也很具有挑战性：产生的旋律不仅应遵循良好的音乐模式，而且还应与节奏和结构等歌词中的功能保持一致。由于几个问题，这些特征无法通过以端到端学习抒情式映射的神经生成模型来很好地处理：（1）缺乏对齐的抒情式摩托律训练数据，以充分学习抒情液特征结盟; （2）发电中缺乏可控性，无法明确保证抒情特征对齐。在本文中，我们提出了ROC，这是一种新的抒情术的范式，该范式通过一代网络式管道解决了上述问题。具体而言，我们的范式有两个阶段：（1）创建阶段，其中大量音乐是由基于神经的旋律语言模型生成的，并通过几个关键功能（例如和弦，音调，节奏和节奏和节奏）在数据库中索引。结构信息，包括合唱或经文）； （2）重新创建阶段，根据歌词的关键功能从数据库中检索音乐作品，并根据构图指南和旋律语言模型分数从数据库中检索音乐作品来重新创建旋律。我们的ROC范式具有多个优点：（1）它只需要未配对的旋律数据来训练旋律语言模型，而不是以前模型中配对的抒情数据。 （2）它在抒情循环的生成中实现了良好的抒情式特征对齐。关于英语和中文数据集的实验表明，ROC在客观和主观指标上都优于先前基于神经的抒情性循环模型。

近年来，在广泛的机器学习应用程序中，在梯度增强决策树（GBDT）方面取得了重大成功。通常，关于GBDT训练算法的共识是梯度，统计数据是根据高精度浮点计算的。在本文中，我们调查了一个本质上重要的问题，该问题在先前的文献中在很大程度上被忽略了：代表培训GBDT的梯度需要多少位？为了解决这个谜团，我们建议在GBDT的培训算法中以非常简单但有效的方式量化所有高精度梯度。令人惊讶的是，我们的理论分析和实证研究都表明，梯度的必要精度而不伤害任何性能可能很低，例如2或3位。对于低精度梯度，GBDT培训中的大多数算术操作可以用8、16或32位的整数操作代替。有希望的是，这些发现可能为从几个方面对GBDT进行更有效训练的方式铺平了道路：（1）加速直方图中梯度统计的计算； （2）在分布式培训期间压缩高精度统计信息的通信成本； （3）使用和开发硬件体系结构的灵感，这些架构很好地支持了用于GBDT培训的低精确计算。与大量数据集中的SOTA GBDT系统相比，我们在CPU，GPU和分布式集群上进行了基准测试，最多可容纳我们简单量化策略的速度，这表明了GBDT低表演培训的有效性和潜力。该代码将发布给LightGBM的官方存储库。

深度强化学习（DRL）在自动游戏测试中引起了很多关注。早期尝试依靠游戏内部信息进行游戏空间探索，因此需要与游戏深入集成，这对于实际应用来说是不便的。在这项工作中，我们建议仅使用屏幕截图/像素作为自动游戏测试的输入，并建立了一般游戏测试代理Inspector，可以轻松地将其应用于不同的游戏，而无需与游戏深入集成。除了覆盖所有游戏测试空间外，我们的代理商还试图采取类似人类的行为与游戏中的关键对象进行交互，因为某些错误通常发生在玩家对象的交互中。检查器基于纯粹的像素输入，包括三个关键模块：游戏空间探索器，关键对象检测器和类似人类的对象研究者。 Game Space Explorer旨在通过使用像素输入的基于好奇心的奖励功能来探索整个游戏空间。关键对象检测器的目的是基于少量标记的屏幕快照在游戏中检测关键对象。类似人类的对象研究者的目标是模仿人类的行为，以通过模仿学习来调查关键对象。我们在两个受欢迎的视频游戏中进行实验：射击游戏和动作RPG游戏。实验结果证明了检查员在探索游戏空间，检测关键对象和调查对象方面的有效性。此外，检查员在这两场比赛中成功发现了两个潜在的错误。检查员的演示视频可从https://github.com/inspector-gametesting/inspector-gametesting获得。

由于其有条件的独立性假设，非自动回忆翻译（NAT）模型很难捕获目标翻译的多模式分布，这被称为“多模式性问题”，包括词汇多模式和句法。多模式。虽然对第一个进行了充分的研究，但句法多模式性为NAT的标准横熵（XE）损失带来了严重的挑战，并且正在研究中。在本文中，我们对句法多模式问题进行了系统研究。具体而言，我们将其分解为短期和远程句法多模式，并在精心设计的合成数据集和真实数据集上评估了具有高级损耗函数的几种NAT算法。我们发现，连接派时间分类（CTC）损失和订单不合时宜的熵（OAXE）损失可以更好地处理短期和远程语法多模式。此外，我们将同时掌握并设计新的损失功能，以更好地处理现实世界数据集中复杂的句法多模式。为了促进实际用法，我们提供了一个指南，以使用不同种类的句法多模式的不同损失功能。

通过确保学习算法中的差异隐私，可以严格降低大型模型记忆敏感培训数据的风险。在本文中，我们为此目的研究了两种算法，即DP-SGD和DP-NSGD，它们首先剪辑或归一化\ textIt \ textIt {每样本}梯度以绑定灵敏度，然后添加噪声以使精确信息混淆。我们通过两个常见的假设分析了非凸优化设置中这两种算法的收敛行为，并实现了$ \ nathcal {o} \ left（\ sqrt [4] {\ frac {\ frac {d \ log（1/\ delta） ）} {n^2 \ epsilon^2}} \ right）$ $ d $ - 二维模型，$ n $ samples和$（\ epsilon，\ delta）$ - dp，它改进了以前的改进在较弱的假设下的界限。具体而言，我们在DP-NSGD中引入了一个正规化因素，并表明它对融合证明至关重要，并巧妙地控制了偏见和噪声权衡。我们的证明故意处理针对私人环境指定的按样本梯度剪辑和标准化。从经验上讲，我们证明这两种算法达到了相似的最佳准确性，而DP-NSGD比DP-SGD更容易调整，因此在计算调整工作时可能有助于进一步节省隐私预算。

药物目标亲和力（DTA）预测是药物发现和药物研究的重要任务。 DTA的准确预测可以极大地受益于新药的设计。随着湿实验的昂贵且耗时，DTA预测的监督数据非常有限。这严重阻碍了基于深度学习的方法的应用，这些方法需要大量的监督数据。为了应对这一挑战并提高DTA预测准确性，我们在这项工作中提出了一个具有几种简单但有效的策略的框架：（1）多任务培训策略，该策略将DTA预测和蒙版语言建模（MLM）任务采用配对的药品目标数据集； （2）一种半监督的训练方法，通过利用大规模的未配对分子和蛋白质来赋予药物和靶向代表性学习，这与以前仅利用仅利用预训练的预训练和微调方法，这些方法仅利用前培训和微调方法训练; （3）一个交叉意见模块，以增强药物和靶代表性之间的相互作用。在三个现实世界基准数据集上进行了广泛的实验：BindingDB，Davis和Kiba。结果表明，我们的框架大大优于现有方法，并实现最先进的性能，例如，$ 0.712 $ rmse在bindingdb ic $ _ {50} $测量上，比以前的最佳工作要改善了$ 5 \％。此外，关于特定药物目标结合活动，药物特征可视化和现实世界应用的案例研究证明了我们工作的巨大潜力。代码和数据在https://github.com/qizhipei/smt-dta上发布